常误差流（Constant Error Carousel）

概述

常误差流（Constant Error Carousel, CEC）是 LSTM 架构中的核心技术机制，通过自连接权重恒为 1 的设计，确保误差信号在反向传播时不被缩放，从而从根本上解决梯度消失和梯度爆炸问题。

关键内容

1. 核心机制：
2. 记忆细胞内部的状态更新采用自连接权重为 1 的设计
3. 误差信号在记忆细胞中通过加法路径传递，而不是通过乘法

4. 确保梯度在长时间序列中能够保持恒定不变地流动

5. 解决梯度问题：

6. 通过自连接权重恒为 1，误差信号在反向传播时不会被缩放
7. 避免了传统 RNN 中梯度随时间步呈指数级衰减或膨胀的问题

8. 使网络能够学习跨越数百甚至数千个时间步的长期依赖关系

9. 数学原理：

10. 误差在记忆细胞中的传递为加法形式而非乘法形式
11. 记忆细胞状态的梯度 ∂Cₜ/∂Cₜ₋₁ = fₜ（遗忘门值），当遗忘门接近 1 时，梯度无损传递

12. 对比传统 RNN：梯度需要乘以小于 1 的权重矩阵，导致连乘后指数衰减

13. 历史意义：

14. 由 Hochreiter 和 Schmidhuber 在 1997 年的 LSTM 论文中首次提出
15. 是第一个从根本上解决 RNN 梯度消失问题的机制
16. 为后续的深度学习序列建模奠定了基础

来源

• 12-hochreiter-1997-lstm.md — CEC 概念和机制详解

相关

• LSTM — implemented_in
• 梯度消失 — solves
• 梯度爆炸 — solves
• Sepp Hochreiter — invented_by
• Jurgen Schmidhuber — invented_by
• 记忆细胞 — core_component_of